推理加速

LLM 推理加速方向的学习笔记：投机采样、KV Cache、量化推理等。

目录

• LLM推理加速：投机采样算法原理及EAGLE-1/2/3实现分析 — 转载自 JingMing 的博客：传统投机采样的推测-验证框架，EAGLE-1 特征复用草稿模型、EAGLE-2 动态草稿树裁剪、EAGLE-3 训练时多步推测（Training-Time Test），附代码实现分析